联合学习(FL)是数据是私人且敏感时的有前途的分布式学习框架。但是,当数据是异质且非独立且相同分布的(非IID)时,此框架中最新的解决方案并不是最佳的。我们提出了一种实用且强大的佛罗里达州个性化方法,该方法通过平衡探索和利用几种全球模型来适应异质和非IID数据。为了实现我们的个性化目标,我们使用了专家(MOE)的混合,这些专家(MOE)学会了分组彼此相似的客户,同时更有效地使用全球模型。我们表明,与病理非IID环境中的本地模型相比,我们的方法的准确性高达29.78%,高达4.38%,即使我们在IID环境中调整了方法。
translated by 谷歌翻译
我们研究了在分散的点对点环境中培训个性化深度学习模型的问题,重点是客户之间的数据分布在客户之间有所不同,而不同的客户具有不同的本地学习任务。我们研究了协变量和标签变化,我们的贡献是一种算法,对于每个客户,根据本地任务的相似性估计,它都会发现有益的协作。我们的方法不依赖于难以估计的超参数,例如客户群的数量,而是使用基于新颖的自适应八卦算法的软群集分配不断适应网络拓扑。我们在各种设置中测试了所提出的方法,其中数据并非独立且在客户端之间分布相同。实验评估表明,对于此问题设置,所提出的方法的性能优于以前的最新算法,并且在以前的方法失败的情况下处理情况很好。
translated by 谷歌翻译